近年来，随着大型语言模型（LLMs）的快速发展，自然语言处理领域经历了前所未有的变革。这些技术如今广泛应用于代码助手、搜索引擎和个人 AI 助手等场景，展现了强大的能力。然而，传统的 “下一个 token 预测” 范式存在一定局限性，尤其是在处理复杂推理和长期任务时，模型需要经历大量训练才能掌握深层次的概念理解。为了解决这一问题，Meta 等机构的研究者们提出了一种名为 “连续概念混合”（CoCoMix）的新颖预训练框架。这一方法不仅保留了下一个 token 预测的优点，还引入了

Google DeepMind发布了一项引领性的研究，中心围绕其提出的百万级专家模型——Mixture，该模型采用了革新性架构在Transformer基础上跨出重要一步。Mixture通过让从十万多个微型专家中高效快速进行稀疏检索，实现了在保持计算效率的同时释放Transformer架构潜力的目标。核心亮点在于参数效益高的专家检索机制，通过乘积密钥技术分离计算成本与参数计数，PEER架构在语言模型任务中展现出卓越性能，优于密集式FFW，粗粒度MoE和PKM层。实证结果显示，通过调整专家数量与活跃专家数量，Mixture模型性能显著提升，特别是其在降低困惑度方面的出色表现。这项技术突破性地展示了个性化和智能化能力在提升转化率和用户满意度上的潜力，对于AIGC领域具有重要影响。

["Transformer 出逃八子最后一人正式创业！坐标日本搞 AI “群” 模型","谷歌经典 Transformer 论文 8 位作者的最后一位，创业去向已定！","新公司 base 东京，目标是做一家 “世界级人工智能研究室”"]